基于遥感影像的飞机机型分类数据集

陈军宇1,2，李海巍1*，张  耿1，王  爽1，陈铁桥1

1. 中国科学院西安光学精密机械研究所，西安 710119；
2. 中国科学院大学，北京 100049

摘  要：飞机在遥感影像中是一种典型地物，然而，目前缺少基于遥感影像进行飞机机型分类的公开数据集，限制了使用遥感影像大规模提取飞机类型信息的研究与应用。本文为解决飞机机型分类时参考数据短缺问题，首先，从Google Earth等多个公开数据源获取高分辨率遥感影像、全球多处机场和机型信息，筛选有效飞机遥感数据3594张。然后，根据人体视觉注意力机制理论，选择机翼和螺旋桨2个要素在遥感影像上的特征，把飞机类型划分为7个一级类（1）后掠翼飞机，（2）前缘后掠翼飞机；（3）后缘前掠翼飞机；（4）三角翼飞机；（5）平直翼飞机；（6）螺旋桨飞机；（7）直升飞机；再根据机身颜色等要素对部分一级类继续划分，共获得11个二级类。全部数据汇编为基于遥感影像的飞机机型分类数据集（OPT-Aircraft _v1.0）。该数据集存储为.png格式，由3,594个数据文件、18个文件夹组成，数据量为 69.3 MB。OPT-Aircraft _v1.0有效地反映了高分辨率遥感影像下的飞机机型划分，对于遥感领域中飞机细粒度识别、不同飞机机型仿真研究具有参考价值，为研究遥感影像的飞机分类提供实验数据。

关键词：遥感影像分类；飞机分类数据集；Google Earth；注意力机制

DOI: 10.3974/geodp.2020.02.12

数据可用性声明：

本文关联数据已出版，可获取：陈军宇, 李海巍, 张耿等. 飞机遥感影像分类数据集[J/DB/OL]. 全球变化数据仓储电子杂志, 2020. DOI: 10.3974/geodb.2020.03.25.V1.

 

1  前言

飞机是一种重要的目标，在飞机目标检测的过程中，快速准确的识别出飞机位置、型号和数量的部署及变化，是当前遥感领域中的一个热点研究方向。现有的飞机细粒度视觉分类数据集有FGVC-aircraft[1]，该数据集收集了120种飞机型号。然而，该数据集收集的是近距离下的飞机图片，无法直接应用到遥感数据的飞机机型识别。想要从遥感影像中识别不同型号飞机，首先需要遥感观测环境下飞机机型的参考数据。

为了可以加快研究遥感领域飞机精细度识别技术，整理标注遥感影像的飞机分类数据集至关重要。《飞机遥感影像分类数据集》（OPT-Aircraft _v1.0）[2]基于全球多处机场不同种类的飞机数据，根据相应的划分准则对飞机遥感数据进行分类，可为遥感影像的飞机机型分类提供数据参考。

2  数据集元数据简介

《飞机遥感影像分类数据集》[2]的名称、作者、地理区域、数据年代、时间分辨率、空间分辨率、数据集组成、数据出版与共享服务平台、数据共享政策等信息见表1。

 

表1  《飞机遥感影像分类数据集》元数据简表

条  目

描  述

数据集名称

飞机遥感影像分类数据集

数据集短名

OPT-Aircraft _v1.0

作者信息

陈军宇，中国科学院西安光学精密机械研究所, chenjunyu2016@opt.cn

李海巍，中国科学院西安光学精密机械研究所, lihaiwei@opt.ac.cn

张耿，中国科学院西安光学精密机械研究所, gzhang@opt.ac.cn

王爽，中国科学院西安光学精密机械研究所, wangshuang@opt.ac.cn

陈铁桥，中国科学院西安光学精密机械研究所, chentieqiao@opt.ac.cn

地理区域

全球范围内多处机场，分布在全球各个国家

数据年代

1989-2020           数据格式   .png            数据量    9.3 MB

数据集组成

数据集由7个一级类，11个二级类组成，分别为：

1.后掠翼飞机（1.1后掠翼I型飞机、1.2后掠翼II型飞机、1.3后掠翼III型飞机）

2.前缘后掠翼飞机（2.1前缘后掠翼I型飞机、2.2前缘后掠翼II型飞机）

3.后缘前掠翼飞机

4.三角翼飞机

5.平直翼飞机（5.1平直翼I型飞机、5.2平直翼II型飞机）

6.螺旋桨飞机（6.1螺旋桨I型飞机、6.2螺旋桨II型飞机、6.3螺旋桨III型飞机、6.4螺旋桨IV型飞机）

7.直升飞机

基金项目

中国科学院（XAB2017B19）

数据计算环境

ubuntu 18.04；python 3.6

出版与共享服务平台

全球变化科学研究数据出版系统 http://www.geodoi.ac.cn

地址

北京市朝阳区大屯路甲11号100101，中国科学院地理科学与资源研究所

数据共享政策

全球变化科学研究数据出版系统的“数据”包括元数据（中英文）、通过《全球变化数据仓储电子杂志（中英文）》发表的实体数据和通过《全球变化数据学报（中英文）》发表的数据论文。其共享政策如下：（1）“数据”以最便利的方式通过互联网系统免费向全社会开放，用户免费浏览、免费下载；（2）最终用户使用“数据”需要按照引用格式在参考文献或适当的位置标注数据来源；（3）增值服务用户或以任何形式散发和传播（包括通过计算机服务器）“数据”的用户需要与《全球变化数据学报》（中英文）编辑部签署书面协议，获得许可；（4）摘取“数据”中的部分记录创作新数据的作者需要遵循10%引用原则，即从本数据集中摘取的数据记录少于新数据集总记录量的10%，同时需要对摘取的数据记录标注数据来源[3]

数据和论文检索系统

DOI，DCI，CSCD，WDS/ISC，GEOSS，China GEOSS，Crossref

3  数据研发方法

3.1  分类原理

（1）自然场景下的飞机机型信息

自然场景下的飞机分类图像数据（如，FGVC-aircraft[1]数据集），从机身侧面获取，拍摄距离较近，能够较为清晰地看清机身结构，从而获取相关的飞机型号信息。

遥感场景下的飞机影像是遥感器从高空俯视获取，拍摄距离较远，受干扰因素较多，在没有先验知识前提下，一般无法直接得到飞机型号和相关信息。

因此，在利用遥感数据进行飞机型号分类时，既不能直接使用自然场景下的飞机图像数据集作为参考数据，也不能直接采用自然场景下的飞机型号分类系统，而是应该建立适用于遥感数据的飞机机型参考数据和飞机机型分类系统。

（2）适用于遥感数据的飞机机型分类系统

虽然自然场景下的飞机图像无法直接用于基于遥感数据的飞机机型分类，但是通过GPS定位信息，把机场、飞机型号和Google Earth高分辨率遥感影像联系起来后，就可以间接地从高分辨率遥感影像上通过判读或机器分类得到各种飞机型号的遥感特征，作为参考数据，用于更大范围的飞机机型分类。根据这一思路，本文首先从公开的高分辨率遥感影像中获取包含飞机影像的遥感数据，然后裁剪并筛选出影像较好的飞机遥感数据，接着根据筛选出来的飞机遥感数据特征进行飞机机型划分，得到基于遥感影像的飞机机型分类数据集。

3.2  技术路线

数据处理流程如图1所示主要包括七个部分，包含飞机信息的遥感数据收集、遥感数据筛选、遥感数据净化、遥感尺度统一、飞机机型一级分类、飞机机型二级分类、飞机类型样品扩张。

3.2.1  包含飞机信息的遥感数据收集：

飞机数据集选取公开数据集 DIOR[4]、UCAS_ AOD[5]、NWPU VHR-10[6–8]、DOTA[9–10]以及Google earth中的高分辨率RGB飞机遥感影像。其中Google Earth中的飞机来源于北京首都国际机场、阿姆斯特丹机场、菲尼克斯天港国际机场等可在地图上获取真实地面场景的全球100多处机场。保证了飞机影像来自不同传感器，不同时间、不同季节和不同光照强度，使数据具有一定的类内多样性。

3.2.2  遥感数据筛选

采用公开数据集中已标注的标签以及专业人员对Google Earth影像手动标注的方式，从选取的遥感影像中自动和手动的方式根据标签坐标裁剪出飞机数据。

3.3.3  遥感数据净化

对筛选数据中的4类问题做了识别和淘汰处理。

（1）飞机周围噪音：包括登机梯、卡车、人员，以及相邻的飞机；

（2）飞机背景噪音：包括斑马线、亮条纹、周边建筑物的阴影；

（3）遥感影像边缘不完整的飞机；

（4）曝光过强、曝光过弱、有雾、以及目标过小的飞机。

3.2.4  遥感尺度统一

通过人机交互筛选完遥感飞机数据后，统一数据尺寸为96×96（单位为像素 pixels）。

3.2.5  飞机机型一级分类

根据其人类视觉注意力机制，以及结合15个相关研究结果，根据机翼和螺旋桨两个指标，首先将遥感飞机划分为7个一级类：（1）后掠翼飞机；（2）前缘后掠翼飞机；（3）后缘前掠翼飞机；（4）三角翼飞机；（5）平直翼飞机；（6）螺旋桨飞机；（7）直升飞机。

3.2.6  飞机机型二级分类

根据发动机和飞机的颜色等指标，对其中4个一级分类作进一步分类，得到11个二级类型。

 

 

图1  基于遥感影像的飞机机型分类数据处理流程图

 

（1）后掠翼飞机：根据机翼宽窄、发动机位置以及机身颜色可划分为三种二级类。在后掠翼飞机中机翼较窄、机身带有亮色（如白色、蓝色、彩色等）且发动机在尾部的命名为后掠翼I型飞机；机翼较窄、机身带有亮色（如白色、蓝色、彩色等）且发动机不在尾部的命名为后掠翼II型飞机；而机翼较宽机身颜色为灰色或者深绿色的飞机划分为后掠翼III型飞机。

（2）前缘后掠翼飞机：发动机在尾部，为前缘后掠翼I型飞机；发动机不在尾部，为前缘后掠翼II型飞机。

（3）平直翼飞机：发动机在尾部为平直翼I型飞机；发动机不在尾部为平直翼II型飞机。

（4）螺旋桨飞机中：根据螺旋桨与机身的比例以及机身颜色可进一步细分为4个二级类。螺旋桨所占机身比例较小且机身为亮色（白色、彩色等）命名为螺旋桨I型飞机；螺旋桨所占机身比例较小机身为绿色或灰色的螺旋桨飞机命名为螺旋桨II型飞机；螺旋桨所占机身比例较大且机身为亮色（白色、彩色等）命名为螺旋桨III型飞机；螺旋桨所占机身比例较大且机身为绿色或灰色命名为螺旋桨IV型飞机。

3.2.7 飞机类型样品扩张

根据不同的实验需求，可对图像进行镜像翻转，旋转45°、90°、135°、180°、270°等可将数据根据实验情况进行3-7倍扩增，以提升实验精度。

4  数据结果与验证

4.1  数据集组成

完成的飞机遥感影像的机型分类数据汇编为《飞机遥感影像分类数据集》。包括3,954张飞机机型分类：7个一级类，11个二级类。

7个一级类为：后掠翼飞机；前缘后掠翼飞机；后缘前掠翼飞机；三角翼飞机；平直翼飞机；螺旋桨飞机；直升飞机。

11个二级类的命名规则：以所属一级类编号为小数点前的数字，小数点后的数字在所属一级类顺次排序，具体分类详细信息以及中英文命名情况见表2所示。

图2展示了数据集中的其中相应数字标号的12个二级类，每行随机展示了每个类别中的10张图像。

表2  《飞机遥感影像分类数据集》飞机机型分类系统

一级类

二级类

 数量

1 后掠翼飞机
1 Swept_back_wing_aircraft

1.1后掠翼I型飞机

1.1 Sp_bk_I

  656

1.2后掠翼II型飞机

1.2 Sp_bk_II

  201

1.3后掠翼III型飞机

1.3 Sp_bk_III

  320

2 前缘后掠翼飞机
2 Leading_edge_sp_bk_aircraft

2.1前缘后掠翼I型飞机

2.1 Ld_sp_bk_I

  104

2.2前缘后掠翼II型飞机

2.2 Ld_sp_bk_II

   75

3 后缘前掠翼飞机
3 Trailing_edge_forward_sp_airplane

   21

4 三角翼飞机
4 Delta_aircraft

  192

5 平直翼飞机
5 Flat_wing_aircraft

5.1平直翼I型飞机

5.1 Ft_Eg_I

  134

5.2平直翼II型飞机

5.2 Ft_Eg_II

1,088

6 螺旋桨飞机

6 Propeller_aircraft

6.1螺旋桨I型飞机

6.1 Propeller _airplane_I

  104

6.2螺旋桨II型飞机

6.2 Propeller_aircraft_II

  414

6.3螺旋桨III型飞机

6.3 Propeller_aircraft_III

  242

6.4螺旋桨IV型飞机

6.4 Propeller_aircraft_IV

   39

7 直升飞机
7 Helicopter

    4

共计7类

共计11类

共计3,594

 

 

图2  《飞机遥感影像分类数据集》部分数据图

4.2  数据结果

对《飞机遥感影像分类数据集》使用t-SNE[11]（t分布随机邻域嵌入）算法进行降维。t-SNE[11]降维算法是通过仿射变换将样本数据点映射到概率分布上，使高维和低维空间里的两个概率分布之间尽可能的相似。图3显示了5个二级类（1.3后掠翼III型飞机、2.2前缘后掠翼II型飞机、4 三角翼飞机、5.2平直翼II型飞机、6.2螺旋桨II型飞机）通过t-SNE算法进行降维后映射到二维空间的分布情况。横纵坐标分别表示高维数据点映射到低维空间的两个维度映射值。同一颜色表示同一二级数据。可以看出这5个二级数据通过t-SNE降维后，同类之间间隔小，异类之间间隔较大，在降维后的空间具有可分性。

结合图2和图3，可以看出11个二级类，每个类别中有鲜明的特征，能够涵盖不同飞机机型的遥感数据。尤为重要的是，依照本文的划分规则，能够根据飞机颜色特征、发动机位置等区分出11个二级类。遥感飞机根据3.2的分类规则，使用TGRS-HRRSD-Dataset[12]中的飞机遥感影像来进行分类，可以明确的划分到基于遥感影像的飞机机型分类数据集（OPT-Aircraft _v1.0）的11个二级类中。数据集存储为.png格式，数据量大小为69.3 MB。

5  讨论和总结

在遥感数据处理中，遥感影像细粒度识别还处于初步探索阶段，在探索初期飞机遥感影像分类数据的短缺对研究科学问题带来诸多困难。本数据集（OPT-Aircraft _v1.0）基于现有公开的高分辨率遥感影像，通过设定划分准则，使用人机交互目视解译的方式得到基于遥感影像的飞机机型分类数据集。该准则根据遥感飞机机翼发动机以及机身颜色等多种联合特征，将飞机遥感影像分为7个一级类以及11个二级类，涵盖了飞机遥感影像中的不同特点的飞机，具有一个较为完备的数据划分准则。

这11个二级类通过t-SNE[11]降维后，在低维空间可以直观的看到类间的可分性，有助于提升飞机遥感影像的细粒度划分和识别的精度。更多的是，该数据集的建立，给不同种类的飞机打上相应的类别标签，在遥感目标模拟仿真中，使用生成对抗网络框架，可以推动不同飞机种类的生成精度。

文本框: 图3 5个二级类数据（1.3后掠翼III型飞机、2.2前缘后掠翼II型飞机、4 三角翼飞机、5.2平直翼II型飞机、6.2螺旋桨II型飞机）通过t-SNE降维可视化显示    下一步任务就是根据基于遥感影像的飞机机型分类数据集（OPT-Aircraft _v1.0），完成基于遥感影像的飞机目标真实感仿真和遥感飞机细粒度识别，以期构建出遥感场景下不同种类飞机目标仿真识别系统，这对于载荷研制阶段风险和成本的预估以及特殊目标识别是非常有利的。当然，该数据集也可继续完善，后续阶段依照本文的划分准则，收集整理分辨率高以及背景相对单一的飞机遥感影像，同时使用生成对抗网络扩增所需数据补充基于遥感影像的飞机机型分类数据。进一步推动遥感飞机细粒度识别和生成模型的精度，两者之间是一个相互促进的过程。

 

 

作者分工：李海巍对数据集的开发做了总体设计；陈军宇、陈铁桥采集和处理了飞机遥感数据；李海巍、陈军宇设计了模型和算法；张耿、王爽、陈军宇做了数据验证；陈军宇撰写了数据论文等。

参考文献

[1]      Maji, S., Rahtu, E., Kannala, J., et al. Fine-grained visual classification of aircraft [OL]. arXiv, 2013. http://arxiv.org/abs/1306.5151.

[2]      陈军宇, 李海巍, 张耿等. 飞机遥感影像分类数据集[J/DB/OL]. 全球变化数据仓储电子杂志, 2020. DOI: 10.3974/geodb.2020.03.25.V1.

[3]      全球变化科学研究数据出版系统. 全球变化科学研究数据共享政策[OL]. DOI: 10.3974/dp.policy.2014. 05 (2017年更新).

[4]      Li, L., Xin, X. Z., Zhang, H. L., et al. A method for estimating hourly photosynthetically active radiation (PAR) in China by combining geostationary and polar-orbiting satellite data [J]. Remote Sensing of Environment, 2015, 165: 14–26. DOI: 10.1016/j.rse.2015.03.034.

[5]      Zhu, H., Chen, X., Dai, W., et al. Orientation robust object detection in aerial images using deep convolutional neural network [C]. IEEE International Conference on Image Processing (ICIP), 2015. DOI: 10.1109/ICIP.2015.7351502.

[6]      Cheng, G., Han, J., Zhou, P., et al. Multi-class geospatial object detection and geographic image classification based on collection of part detectors [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 98: 119–132. DOI: 10.1016/j.isprsjprs.2014.10.002.

[7]      Cheng, G., Han, J. A survey on object detection in optical remote sensing images [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 117: 11–28. DOI: 10.1016/j.isprsjprs.2016.03.014.

[8]      Cheng, G., Zhou, P., Han, J. Learning rotation-invariant convolutional neural networks for object detection in vhr optical remote sensing images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7405–7415. DOI: 10.1109/TGRS.2016.2601622.

[9]      Xia, G. S., Bai, X., Ding, J., et al. DOTA: a large-scale dataset for object detection in aerial images [OL]. arXiv, 2019. http://arxiv.org/abs/1711.10398.

[10]   Ding, J., Xue, N., Long, Y., et al. Learning RoI transformer for detecting oriented objects in aerial images [OL]. arXiv, 2018. http://arxiv.org/abs/1812.00155.

[11]   Der Maaten, L. V., Hinton, G. E. Visualizing data using T-SNE [J]. Journal of Machine Learning Research, 2008, 9: 2579–2625.

[12]   Zhang, Y., Yuan, Y., Feng, Y., et al. Hierarchical and robust convolutional neural network for very high-resolution remote sensing object detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(8): 5535–5548. DOI: 10.1109/TGRS.2019.2900302.